转载自：https://vimsky.com/article/3403.html Spark中ml和mllib的主要区别和联系如下： ml和mllib都是Spark中的机器学习库，目前常用的 ...

　　机器学习是一门人工智能的科学，能通过经验自动改进的计算机算法的研究。 　 　　机器学习是一个多学科交叉的领域，会涉及到计算机、信息学、数学、统计学、神经科学等。 　　机器学习是大数据的核心 ...

概述 分类决策树模型是一种描述对实例进行分类的树形结构。 决策树可以看为一个if-then规则集合，具有“互斥完备”性质 。决策树基本上都是 采用的是贪心（即非回溯）的算法，自顶向下递 ...

本篇博客主要讲述如何利用spark的mliib构建机器学习模型并预测新的数据，具体的流程如下图所示： 加载数据 对于数据的加载或保存，mllib提供了MLUtils包，其作用是Helper ...

当数据量很大的时候，分类任务通常使用【离散特征+LR】集成【连续特征+xgboost】，如果把连续特征加入到LR、决策树中，容易造成overfit。 如果想用上连续型特征，使用集成学习集成多种算 ...

概念梳理 GBDT的别称 　GBDT(Gradient Boost Decision Tree),梯度提升决策树。 GBDT这个算法还有一些其他的名字，比如说MART(Multiple A ...

最近在用Spark MLlib进行特征处理时，对于StringIndexer和IndexToString遇到了点问题，查阅官方文档也没有解决疑惑。无奈之下翻看源码才明白其中一二...这就给大家娓 ...

1规定划分区间的参数，取定长的间隔将特征放入不同的箱子中，这种方法对异常点比较敏感。(等宽) 2 根据频率划分箱子，会出现特征相同却不在一个箱子中的情况，需要在划分完成后进行微调。（等频）先对特征值 ...

Spark提供了便利的Pipeline模型，可以轻松的创建自己的学习模型。 但是大部分模型都是需要提供参数的，如果不提供就是默认参数，那么怎么选择参数就是一个比较常见的问题。Spark提供在org. ...

朴素贝叶斯 算法介绍： 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。 朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，在没有其它可用信息 ...